어차피 삶은 시궁창이고, 회사도 일도 환경도 시궁창이다.
나는 머신러닝/딥러닝에 있어서 우아한 파이프 라인 구축을 말할 때마다 타프 치는 이야기를 하고 싶다. 요점은 "우린 안 될꺼야 아마. 우리는 타바코쥬스니까." 인데.. 말로 내뱉지는 않는다. 왜? 난 쪼렙이니까. 하지만 소소한 경력은 있기에 글로는 써본다. 우리가 실력이 없지 경력이 없냐? 아.. 이런..
...
타프는 캠핑때 사용하는 차양막이다. 비도 햇볕도 피할 수 있고 아늑한 느낌을 준다.
타프를 잘치는 건 쉽다. 몇 번 해보면 금방 익숙해진다. 그래서 님 타프 좀 치나요? 네 30분이면 칼각이죠. 하는데 사실 타프 치는 실력은 따로 있다.
캠핑장에 도착했다. 드넓은 사이트가 보인다. 줄도 짝 그어져있고 4각형 표식이 쭉쭉 바닥도 거울같이 평평하고 사람들이 팩을 박았던 흔적도 딱. 아이 좋아 저기에 타프를 치면 30분이면 칼각이 잡힐 것 같다. 그런데 그게 아니다. 아내가 말한다. 저긴 땡지잖아. 애들 살 익어. 저기 좋네. 그늘도 있고. 그리하야 그늘로 이동한다. 이제 칼각은 글렀다. 타프 한 면이 나무 기둥에 겹친다. 팩을 박는데 왠 화강암과 조우한다. 각이 안 나와서 줄을 옆에 있는 나무 기둥에 묶는데 짧다. 내 타프는 기성품이라 정해진 부품만 있다. 어쨌든 줄을 묶는데 성공했다. 사장이 온다. 어이어이 손님 에이 그러면 나무 상해요 그 줄은 푸세요 하는데 그늘 쪽이라 갑자기 돌풍이 분다. 어어어 하는 사이 메인 폴이 넘어갔다. 그리하여 줄을 쭉 뽑아서 팩을 박는데 옆 집을 침범했다. 옆 집 아저씨가 얼굴을 드민다. 어어어 아저씨 여기다 팩 박을 꺼에요? 에이에이 우리 애들 걸려 넘어지기 딱 좋은 위친데.. 옆으로 좀 쳐 주세요. 옆에다 팩을 또 박는데 또 화강암이다. 안 들어가 팩이. 메인 폴 하나가 또 넘어간다. 이 때 같이 모시고 온 아버지(=40년전 공병대 출신), 작은 아버지(=프로 목수 30년차)가 등장. 야이야.. 천막을 이래 치면 안 대지. 바바 이짝을 잡고 있어바 내가 저짝을 들칠께 하는데 작은 아부지가 아니아니 그라믄 안 대부러 닌 일루와바.. 하는데 아내가 말한다. 자기야 이짝이 남쪽인데 타프 치는 방향이 잘 못 된 것 같은데???? 하아.. 사장님이 걸어온다. 저기여 손님 거기 한 팀이 예약한 걸 잘 못 봤네여.. 이제 타프 설치 시작하신 것 같은데 저기 저 3번에 치시면 안 될까요? 하아.. 하는데 3번 뒤짝에 뱀이 보인다. 옆 사이트에는 트로트 메들리를 틀고 계심...
그런 것이었던 것이었다.
타프 치는 실력은 모다모다? 이상한 여건에서 잘치는게 실력이다. 좋은 여건에서 치는 건 아무나 할 수 있다고.
...
어차피 삶은 시궁창이고, 회사도 일도 환경도 시궁창이다.
큰 데이터 흐름이 있다. 데이터가 커서 팀이 분할되어 있다. 그 중 새 인프라로 들어오는 데이터도 있는데 10년째 레거시로 들어오는 데이터도 어제 막 들어오는 데이터도 있다. 어디서는 콸콸 들어오는데 거의 쓰레기고 어디서는 찔끔 어쩌다 들어오는데 놓치면 큰일나는 데이터다. 뭐는 배치고 뭐는 실시간이고 뭐는 제휴사에서 뭐는 아마존에서 뭐는 FTP로 들어온다.
자 우리도 이제 개념있고 우아하고 깨끗한 파이프 라인을 딱 구축해서 일합시다. 하는데 각 스테이지 마다 팀이 다르다. 이번에 인터페이스를 바까야 하는데요 머에서 머로요.. 아니 그걸 왜 저한테 말씀하세요. 그룹장한테 보고하시고 컨센서스가 모이면 좀 그 때 결정합시다. 저... 저희가 모델링 한 데이터를 저기다 저장하고 싶은데 여기에 저장하면 또 빼낸다고 삘삘이거든요. 에이 그러시면 저희가 힘들어요. 막 이라고 있는데 신임 데이터 인프라 팀장님이 온다. 미국에서 박사딴 30대 초반인데 최신 트렌드와 기술이 빠삭하고 품성도 좋다. 저.. 이번에 파이프 라인 레이아웃을 웹에서 죽죽 긁어다 놓기만 하면 문서도 오딧도 자동인 획기적인 툴을 제가 도입하기로 했습니다. 새로 인풋 채널이 추가되면 클릭만 하셔요 ㅎㅎ 자 이 툴을 쓰기 위해서는 몇 가지만 님들이 해주시면 되어요. 이거 저거 그거 요거 얘 쟤 니 너 우리 아리랑 아리랑 아라리요에요. 네... 구닥다리 저거 이거 걷어내시구요 지금 트렌드가 요거 저거니까 갈아엎죠. 네... 우리는 또 돌아다닌다. 돈이 필요합니다. 사유는? 저걸 바꺼야 합니다. 위험요소는? 저걸 걷어내야 합니다. 니가 책임질래? 컨센서스를 맞춥시다. 공감대가 있어야죠. 보고 부터 하시죠. 아니 그걸 왜 나한테 보고해. 니들이 집행하고 책임져.
물론 우리 회사 이야기는 아니다. 내가 기업 씨트콤을 구상하고 있어서 요즘 상상력이 풍부함. 그냥 너와 나의 이야기 아니겠음?
그 때 법무팀장 등장. 아니아니 이건 이러시면 안 되는데.. 법무 검토 받았어요? 재무팀 등장. 예산 확보 안 하셨죠? 아마존 못가요 있는 장비로 온프레미스 오케이? 기획팀 등장. 잘 되면 보고서는 우리가 쓸 께요 안 되면 니네가 쓰시고요. 끝판왕 보안팀 등장 쿠쿵.. 아니아니 여기서부터 여기까진 분리 네트웤이라니가요? 데브옵스 팀 등장.. 아 이걸 스스로 하셔야지 저희가 컨설팅 해드리겠습니다. 이거 저거 그거 요것만 익히시면 아주 쉬어요. 엊그제 일만 라인을 삼일 만에 짠 슈퍼 신인 등장. 이거 쿠버네티스로 합시다. 스칼라에 코틀린을 조합한후 고와 러스트로 쉐킷하는데 저는 파이토치와 텐서플로만 하면 될 듯요. 하는데 인프라팀 등장. 안 돼요. 이유는 약 오만가지 쯤 되는데 일단 오늘은 다섯개만 이야기 할 께요.
...
우아한 파이프 라인이라는 것이 이렇게 어렵다.
데이터가 크고, 조직이 많고 (회사가 크고), 도메인이 복잡하고, 레거시가 크고, 기존 사업이 탄탄하고, 회사에 나같은 늙다리 개발자가 많고 (꼰대짓해서), 회사에 슈퍼 신인이 많고 (트렌디해서) 이러이러하여 클린한 파이프 라인 뽑기가 쉽지 않다.
반면에 원팀이 저걸 다 하면 어떨까? 가능하다! 그런데 데이터가 크고, 도메인이 복잡하고, 레거시가 후쿠시마 원전이고 이러면 원팀이 할 수 있을까.. 반면 데이터가 크더라도 도메인이 협소하면 가능할 것 같다. 원팀이 우아하고 예쁜 파이프를 그림을 그려서 웹툴에 죽죽 넣고 뺐더니 추론 결과가 프론트에 맞물려 돌아가는 그야말로 뷰티풀 심리스!! 클릭하니 문서가 나오고, 어제 모델을 완전 개편햇는데 바까칩시다 하니까 마우스로 죽 드래그해서 콱 올려놓으니 업무 끗!! 막 이러는.. 이야.. 여기는 지상낙원인가! 이밥에 고깃국만 먹을 수 있는가!!
슈퍼 CTO가 등장하면 또 가능할 것 같다. 니 너 쟤 얘 이리와서 이거 저거 그거 다 인터페이스 기술셋 레이아웃 플로우 다 맞춰. 싸우면 나한테 죽는거고, 안하면 잡아와.
..하는데 이제 슈퍼 파이프 라인 구축을 위한 통합 시너지 구축 위원회를 구축하기 위한 사내외 리소스 분석 TF 구축을 위한, 인력/인프라 리스팅 자료를 모을 사람들을 선발하기 위한 TF 멤버를 뽑아주세요. 킥오프는 횟집보단 소고기가 낫겠어요!! 이제 과제 이름 공모를 합니다! 앞글자 잘 맞춘 기발난 아이디어를 모집합니다! 아 그리고 킥오프때도 기발난 건배사 만들어오세요! 파=파이프가! 이=이토록! 프!... 프!! 우아아아앙 ㅠ.ㅠ
...
좋은 도메인에, 좋은 팀이, 좋은 여건을 만나면 우아한 파이프 라인을 구축할 수 있다.
...
인생은 시궁창이고..
회사는, 일은..
나는 안 될꺼야 아마.
...
그렇다면 포기해야 할까? 아니 신씨 왜이렇게 회의적이야? 할 수 있는데 사실 나는 회의적인 사람은 아니다. 우아하고 일관성있고 깨끗한 파이프 라인은 추구하고 지향해야 한다. 지속가능하고 유지보수가능하도록 끊임없이 개선하고 참여하고 건드려야 한다. 하지만 우아하고 클린한 파이프 라인 자체를 달성의 목표로 정하고 그에 반하는 시궁창의 여건을 애초에 없는 것으로, 무조건 없애야만 하는 장애물로 여기는 것은 현실과 거리가 있다는 것. 각 팀마다의 사정이 있다. 회사의 사정이 있다. 주니어, 시니어의 사정이 있다. 우리는 밸런싱이 필요하고, 목표와 수단과 위험 회피는 단계별로 설계되어야 한다. 나 또한 결벽증 강박증이 있는 사람이 아키텍쳐와 레이아웃을 건들고 트렌드 대마왕이 이렇게 저렇게 건드는 것을 좋아한다. 신씨의 밸런싱 이론에 따르면 팀에 이런 사람이 한 둘쯤 있어서 들쑤시고 다녀야 팀에 좋다.
...
참고 : 나는 2019년 SK 그룹사 데이터 분석대회에서 4개 분야 중 1개 분야에서 우승했다. 경쟁자들은 복잡한 인공지능 기법을 썼고, 나는 덧셈 뺄셈을 했다. 그들을 비하하는게 아니라 내 자랑이다. 내가 차포 떼고 이기는 사람이다. 물론 나는 차포가 원래 없다... 공부해야 생기는데 안 생겼다. 그래서 졸을 쓰는 능력이 극대화 된 모양이다... 나는 C 프로그래머(였었)다. 나는 시스템 프로그래머(였었)다... 하아..